• 专利附录
  • 专利说明
  • 权利要求
  • 类似技术
  • 同族专利
  • 引用文献
  • 法律状态
  • 优先权
    • 专利摘要:
    一種擴增實境的方法，分別對一目標及一環境擷取一3D目標影像及一3D環境影像，其中該3D目標影像及該3D環境影像係為具有深度值之3D影像；擷取該3D目標影像中的一前景物件影像；依據該3D環境影像中一指定深度值，估算該前景物件影像於該3D環境影像中對應該指定深度值的一顯示尺寸；以及依據該顯示尺寸將該前景物件影像加入該3D環境影像並產生一擴增實境影像。
    公开号:TW201322178A
    申请号:TW100143659
    申请日:2011-11-29
    公开日:2013-06-01
    发明作者:ke-chun Li；Yeh-Kuang Wu；Chien-Chung Chiu；Jing-Ming Chiu
    申请人:Inst Information Industry；
    IPC主号:G06T19-00
    专利说明:
    擴增實境的方法及系統
    本發明係有關於一種擴增實境的方法及系統，且特別是有關於一種可支援立體視覺(Stereo Vision)以進行擴增實境的方法及系統。
    擴增實境(Augmented Reality,AR)為一種將電腦所產生的虛擬資訊結合至現實世界影像中的方式。此種方式已運用在許多不同的應用中，例如，廣告、導航、軍事、旅遊、教育、運動、娛樂等，皆是擴增實境所運用的領域。
    在擴增實境的應用中，經常需要將2個以上的影像(平面影像或是立體影像)進行整合，例如將某一個事先建立的虛擬影像或是從一影像中取出特定物件影像，置入另一個環境影像中後整合呈現。然而，若欲成功地將虛擬影像或特定物件影像結合至另一個環境影像中，必須要能夠計算出兩個影像之間的相對位置和尺寸，才能夠進行正確且適當的顯示。
    習知技術中經常使用一特定圖騰，此種方式需事先建立對應此一圖騰的平面/立體影像，並以該圖騰作為一基準來估算和整合此平面/立體影像和環境影像之間的相對位置和尺寸。舉例來說，第1圖係顯示一擴增實境螢幕截圖，在圖中有一在網路攝影機前，手中持有一特定圖騰100的使用者，其可在電腦螢幕中看見手上出現一3D虛擬的棒球運動員102，此是依該圖騰的位置和對應此圖騰所事先建立的立體影像及其尺寸，將對應圖騰的立體影像和使用者本身所在的環境影像進行整合後顯示，這種方法在使用上並不便利。
    此外，習知技術中採用一對照物件來進行尺寸計算處理。例如在拍攝環境影像時同時拍攝一具有寸的物件(例如具有10cm×10cm×10cm的立體方塊)，或是具有標準刻度的尺規，即可依據寸物件或是標準刻度尺規來估算環境影像的尺寸，再依據事先建立之立體影像的尺寸，就可進行適當的整合。然而此種方式的缺點是，使用者必須隨身攜帶寸物件或標準刻度尺規，並且置於環境中一併拍攝，相當不便利。此外，寸物件或標準刻度尺規若欲便於攜帶則不宜過大，和環境尺寸差距大易產生高誤差，若要將寸物件或標準刻度加大，更加不易隨身攜帶，且佔據環境影像甚大區域亦相當不美觀。
    因此，需要一種擴增實境的方法與系統，無需使用任何圖騰及對照物件，即可估算出目標物件和環境影像之間的相對尺寸及位置，並完成擴增實境的效果。
    本發明提供一種擴增實境的方法及系統。
    本發明提出一種擴增實境的方法，包括：分別對一目標及一環境擷取一3D目標影像及一3D環境影像，其中該3D目標影像及該3D環境影像係為具有深度值之3D影像；擷取該3D目標影像中的一前景物件影像；依據該3D環境影像中一指定深度值，估算該前景物件影像於該3D環境影像中對應該指定深度值的一顯示尺寸；以及依據該顯示尺寸將該前景物件影像加入該3D環境影像並產生一擴增實境影像。
    本發明提出一種用於擴增實境的系統，包括：一影像擷取單元，用以分別對一目標及一環境，擷取一3D目標影像及一3D環境影像，其中該3D目標影像及該3D環境影像係具有深度值之3D影像；一儲存單元，耦接於該影像擷取單元，用以儲存該3D目標影像及該3D環境影像；以及一處理單元，耦接於該儲存單元，包括：一前景擷取單元，用以擷取該3D目標影像中的一前景物件影像；一計算單元，用以依據該3D環境影像中一指定深度值，估算該前景物件影像於該3D環境影像中對應該指定深度值的一顯示尺寸；以及一擴增實境單元，用以依據該顯示尺寸，將該前景物件影像加入該3D環境影像並產生一擴增實境影像。
    本發明又提出一種擴增實境之行動裝置，包括：一影像擷取單元，用以分別對一目標及一環境擷取一3D目標影像及一3D環境影像，其中該3D目標影像及該3D環境影像係為具有深度值之3D影像；一儲存單元，耦接於該影像擷取單元，用以儲存該3D目標影像及該3D環境影像；一處理單元，耦接於該儲存單元，包括：一前景擷取單元，用以擷取該3D目標影像中的一前景物件影像；一計算單元，用以依據該3D環境影像中一指定深度值，估算該前景物件影像於該3D環境影像中對應該指定深度值的一顯示尺寸；以及一擴增實境單元，用以依據該顯示尺寸將該前景物件影像加入該3D環境影像並產生一擴增實境影像；以及一顯示單元，耦接於該處理單元，用以顯示該擴增實境影像。
    為使本發明之上述和其他目的、特徵和優點能更明顯易懂，下文特舉出較佳實施例，並配合所附圖式，作詳細說明如下。
    第2A圖係顯示根據本發明第一實施例所述之用於擴增實境系統200之示意圖。擴增實境系統200主要包括影像擷取單元210、儲存單元220和處理單元230。其中處理單元230更包括前景擷取單元232、計算單元233以及擴增實境單元234。
    影像擷取單元210主要是用來分別對一目標及一環境來擷取一3D目標影像及一3D環境影像，其中該3D目標影像及該3D環境影像係具有深度值之3D影像。影像擷取單元210可以是任何市售之可擷取3D影像的裝置或設備，例如具二個鏡頭的雙眼攝影機/照相機、單一鏡頭可連續拍攝二張照片的攝影機/照相機、雷射立體攝影機/照相機(具有雷射量測深度值之攝影裝置)、紅外線立體攝影機/照相機(具有紅外線量測深度值之攝影裝置)等。
    儲存單元220耦接於影像擷取單元210，儲存所擷取的3D目標影像及3D環境影像。儲存單元220可以是任何市售之用於儲存資訊的裝置或產品，例如硬碟、各式記憶體、CD、DVD等。
    處理單元230耦接於儲存單元220，其可包括前景擷取單元232、計算單元233和擴增實境單元234。前景擷取單元232可擷取3D目標影像中的一前景物件影像，例如利用影像分群技術將3D目標影像分成複數個物件群組，經由一操作介面顯示3D目標影像並提供給使用者，從複數個物件群組中選擇一物件群組作為前景物件影像，或是分析3D目標影像，依據深度值和影像分群技術，將3D目標影像分成複數個物件群組，然後將深度值較低(也就是距離影像擷取單元210較近)的物件群組取出作為前景物件影像。其中，影像分群技術可以採用一般習知技術，例如K平均演算法(K-means)、模糊分類演算法(Fuzzy C-means)、階層式分群法(Hierarchical clustering)、混和高斯模型(Mixture of Gaussians)或其他技術，在此不再詳述。計算單元233依據3D環境影像中一指定深度值，估算前景物件影像於3D環境影像中對應指定深度值的一顯示尺寸。指定深度值可以經由多種方式來指定，詳細技術說明如後。擴增實境單元234則依據所估算出來的顯示尺寸，將前景物件影像加入3D環境影像，然後產生擴增實境影像。
    更進一步時，擴增實境單元234更包括一操作介面，用於3D環境影像中來指定前述的指定深度值。此操作介面可以和前面的用以選擇物件的操作介面整合成同一個，也可以是分別獨立的不同操作介面。
    在第一實施例中，影像擷取單元210、儲存單元220和處理單元230可以同時設置在一電子裝置中(例如電腦、筆記型電腦、平板電腦、行動電話等)，也可分別設置在不同的電子裝置再經由通訊網路、串列方式(如RS232)或是匯流排等進行耦接。
    第2B圖係顯示根據本發明第二實施例所述之用於擴增實境系統200之示意圖。擴增實境系統200包括影像擷取單元210、儲存單元220、處理單元230及顯示單元240。其中處理單元230更包括深度值計算單元231、前景擷取單元232、計算單元233以及擴增實境單元234。和第一實施例中相同名稱的元件，其功能亦如前所述，在此不再贅述。第2B圖和第2A圖的主要差異在於處理單元230更包括有深度值計算單元231及顯示單元240。在第二實施例中，影像擷取單元210是採用雙眼攝影機，可對目標拍攝並分別產生對應的左影像和右影像，也可對環境拍攝並分別產生對應的左影像和右影像。目標的左影像和右影像以及環境的左影像和右影像，也都可以儲存在儲存單元220中，且該處理單元230的深度值計算單元231對目標的左影像及右影像計算，以產生該3D目標影像之深度值，並對環境的左影像及右影像計算，以產生該3D環境影像之深度值。雙眼攝影機的3D成像技術亦屬於習知技術，在此不再贅述。顯示單元240耦接於處理單元230，用以顯示擴增實境影像，其可為一般市售可得的顯示器，例如CRT螢幕、液晶螢幕、觸控螢幕、電漿螢幕、LED螢幕等。
    第3A圖係顯示根據本發明第一實施例所述之用於擴增實境系統之擴增實境方法流程圖，並配合參考第2A圖。首先，在步驟S301中，影像擷取單元210分別對一目標及一環境擷取一3D目標影像及一3D環境影像，其中3D目標影像及3D環境影像係為具有深度值之3D影像。在步驟S302中，前景擷取單元232擷取3D目標影像中的前景物件影像。在步驟S303中，計算單元233產生3D環境影像中一指定深度值，並估算前景物件影像於3D環境影像中對應指定深度值的一顯示尺寸。在步驟S304中，擴增實境單元234依據顯示尺寸將前景物件影像加入3D環境影像並產生一擴增實境影像。技術細節如前所述，不再贅述。
    第3B圖係顯示根據本發明第二實施例的擴增實境方法流程圖，並配合參考第2B圖。在步驟S401中，影像擷取單元210分別對一目標及一環境，擷取一3D目標影像及一3D環境影像。在步驟S402中，影像擷取單元210擷取影像後，將3D目標影像及3D環境影像儲存至儲存單元220中。值得注意的是，在此實施例中，影像擷取單元所擷取的已是3D影像，即不需深度值計算單元231計算影像深度值。在另一實施例中，影像擷取單元210若為雙眼攝影機所拍攝出一物件之左影像及右影像，深度值計算單元231則會藉由此物件之左右影像計算其複數個物件影像深度值。在步驟S403中，前景擷取單元232藉由複數個目標影像深度值擷取3D目標影像中的前景物件影像。在步驟S404中，計算單元233產生3D環境影像中一指定深度值，並估算前景物件影像於該3D環境影像中對應指定深度值的一顯示尺寸。在步驟S405中，擴增實境單元234依據該顯示尺寸將前景物件影像加入3D環境影像並產生一擴增實境影像。最後，在步驟S406中，顯示單元240顯示此擴增實境影像。
    在第三實施例中，擴增實境系統200可應用於一支援立體視覺(Stereo Vision)的行動裝置中，使用者可直接使用行動裝置來拍攝目標影像和環境影像，然後將目標影像擴增於到環境影像中。其架構大致如第2A圖，行動裝置包括影像擷取單元210、儲存單元220、處理單元230及顯示單元240。其中處理單元230更包括前景擷取單元232、計算單元233和擴增實境單元234。在另一實施例中，行動裝置更可包含有一通訊單元以和遠端的擴增實境服務系統(圖中未顯示)連線，計算單元233則是設置在擴增實境服務系統中。在另一實施例中，行動裝置更可包含一感測器(圖中未顯示)。
    在此實施例中，行動裝置係採用一雙眼攝影機，可為使用雙眼鏡頭模擬入眼視覺之相機，其可對一目標或一環境擷取一3D目標影像及3D環境影像，如第4A及4B圖所示。第4A圖係顯示影像擷取單元擷取一3D目標影像，第4B圖係顯示影像擷取單元擷取一3D環境影像。其中，該3D目標影像係為具有深度值的3D目標影像，且該3D環境影像係為具有深度值的的3D環境影像。影像擷取單元210將所擷取之3D影像存入儲存單元220中。
    在另一實施例中，若影像擷取單元210為一雙眼攝影機，即擷取一物件之左影像及右影像，再將所擷取之左、右影像存入儲存單元220中。深度值計算單元231利用相異點分析(Dissmilarity Analysis)與立體視覺分析(Stereo Vision Analysis)分別計算此物件之左、右影像之其複數個物件影像深度值。深度值計算單元231可以設置在行動裝裝置的處理單元中，也可以設置在遠端的擴增實境服務系統中，行動裝置經由通訊連接將所拍攝到的物件之左、右影像傳送到遠端的擴增實境服務系統計算物件影像深度值，再街接收計算所得的物件影像深度值，以產生3D影像並存入儲存單元220中。
    在第三實施例中，前景擷取單元232依據3D目標影像中的深度值進行前景背景分割，如第4C圖所示。第4C圖係顯示前景擷取單元擷取一前景物件影像，F區域為深度值最淺的前景物件，B區域為深度值較深的背景環境。計算單元233產生該3D環境影像中之一指定深度值，並估算該前景物件影像於各種深度值的一顯示尺寸。
    本發明各實施例中的計算單元233，更進一步時可提供一參考尺規以供估算前景物件的顯示尺寸，此參考尺規是以計算單元233從影像擷取單元其所擷取之影像(3D目標影像及3D環境影像)計算而得之對照表，使複數個深度值可對照得到所對應之實際尺寸及其顯示尺寸。而參考尺規係依據該前景物件影像於3D目標影像中的深度值、顯示尺寸及參考尺規，計算前景物件影像的實際尺寸，再依據該前景物件影像的實際尺寸、參考尺規及指定深度值，估算前景物件的顯示尺寸。更進一步地，計算單元233還可於影像中顯示物件的真實尺寸數據，第4D圖係顯示計算單元233顯示前景物件影像的實際尺寸數據，如第4d圖所示，實線標示前景物件影像的物件高度為34.5公分(cm)，虛線標示前景物件影像的物件寬度為55公分(cm)。
    本發明各實施例中的擴增實境單元234，更可包括一操作介面，用以於3D環境影像中指定該指定深度值。其中該操作介面更包括用以選取前景物件影像，並將前景物件影像置放於3D環境影像中的指定深度值以完成擴增實境影像。
    操作介面可分為幾種不同類型，下方將提出不同實施例以說明不同的操作介面。
    第5A-5B圖係顯示根據本發明一實施例所述之操作介面示意圖。如第5A-5B圖所示，使用者藉由一控制列(control bar)500以選取該3D環境影像之一深度值作為指定深度值。在第5A-5B圖中，使用者可藉由控制列500選取不同的深度值，而前景物件影像會自動縮放為在該深度值的正確尺寸，並即時於顯示螢幕上顯示出符合該深度值之區域，例如，在第5A圖中，使用者選取控制列500中一深度值502，於螢幕中即顯示符合該深度值502之虛線區域503。在第5B圖中，使用者選取控制列500中另一深度值504，於螢幕中即顯示符合該深度值504之虛線區域505。最後，再由使用者移動前景物件影像至欲擺放的深度值上。
    第6A-6B圖係顯示根據本發明一實施例所述之操作介面之示意圖。如第6A圖所示取該前景物件影像後，在該3D環境影像複數個區域中選取一區域作為指定區域，3D環境影像係分為複數個區域，使用者於選取一欲擺放前景物件影像之指定區域601，即在顯示螢幕上顯示與指定區域601相同深度值之區域(虛線區域602)。在第6B圖中，前景物件影像會自動縮放為在該深度值的正確尺寸，再由使用者移動前景物件影像至指定區域601中之一位置。第6c-6d圖係顯示根據本發明一實施例所述之操作介面之深度值順序示意圖。如第6C-6D圖所示，3D環境影像中複數個區域係具有順序，圖中深度值順序由深至淺，可分為七個區域(數字1～7)。而擴增實境系統200可藉由感測器偵測使用者所輸入之一感測信號，當接收到感測信號時，操作介面依照該順序，從該3D環境影像複數個區域中選取該指定區域。
    第7A-7B圖係顯示根據本發明一實施例所述之操作介面示意圖。該3D環境影像係包含複數個環境物件，使用者選取該前景物件影像後，拖曳該前景物件影像至該3D環境影像中複數個環境物件中一環境物件之一位置。如第7a-7b圖所示，依據使用者觸控點之位置701或702比對前景物件影像於該位置的正確尺寸，即時顯示前景物件影像所欲擺放位置相同深度值之區域，並自動縮放前景物件影像之尺寸大小。
    第8A-8B圖係顯示根據本發明一實施例所述之操作介面示意圖。該操作介面為一3D操作介面，如第8a-8b圖所示，使用者可藉由3D操作介面來變更3D目標影像和3D環境影像的顯示，然後經由一感觸裝置或一操縱裝置供選取該指定深度值。在一實施例中，感觸裝置可為判斷使用者觸控之力道大小、碰觸時間長短等方法，改變3D目標影像和3D環境影像的立體顯示變化。在另一實施例中，操縱裝置為外接搖桿等裝置。
    第9A-9B圖係顯示根據本發明一實施例所述之操作介面示意圖。如第9A-9B圖所示，使用者可使用按鍵、虛擬鍵盤、拖曳、感應器(例如，陀螺儀)或立體操縱裝置等方式來操控前景物件的旋轉角度。
    因此，透過本發明之擴增實境的方法與系統，無需任何圖騰及對應的尺規，即可估算出影像的實際尺寸並即時於顯示螢幕上顯示以完成擴增實境的效果。
    雖然本發明已以較佳實施例揭露如上，然其並非用以限定本發明，任何熟悉此項技藝者，在不脫離本發明之精神和範圍內，當可做些許更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
    100．．．特定圖騰
    102．．．3D虛擬的棒球運動員
    200．．．擴增實境系統
    210．．．影像擷取單元
    220．．．儲存單元
    230．．．處理單元
    231．．．深度值計算單元
    232．．．前景擷取單元
    233．．．計算單元
    234．．．擴增實境單元
    240．．．顯示單元
    S301~S304．．．步驟
    S401~S406．．．步驟
    500．．．控制列
    501．．．前景物件影像
    502．．．深度值
    503．．．虛線區域
    504．．．深度值
    505．．．虛線區域
    601．．．指定區域
    602．．．虛線區域
    701．．．觸控點之位置
    702．．．觸控點之位置
    第1圖係顯示一擴增實境螢幕截圖。
    第2A圖係顯示根據本發明第一實施例擴增實境系統之示意圖。
    第2B圖係顯示根據本發明第二實施例擴增實境系統之示意圖。
    第3A圖係顯示根據本發明第一實施例用於擴增實境系統之擴增實境方法流程圖。
    第3B圖係顯示根據本發明第二實施例用於擴增實境系統之擴增實境方法流程圖。
    第4A圖係顯示影像擷取單元擷取一3D目標影像。
    第4B圖係顯示影像擷取單元擷取一3D環境影像。
    第4C圖係顯示前景擷取單元擷取一前景物件影像。
    第4D圖係顯示計算單元顯示前景物件影像的實際尺寸數據。
    第5A-5B圖係顯示根據本發明一實施例所述之操作介面示意圖。
    第6A-6B圖係顯示根據本發明一實施例所述之操作介面示意圖。
    第6C-6D圖係顯示根據本發明一實施例所述之操作介面深度值順序示意圖。
    第7A-7B圖係顯示根據本發明一實施例所述之操作介面示意圖。
    第8A-8B圖係顯示根據本發明一實施例所述之操作介面示意圖。
    第9A-9B圖係顯示根據本發明一實施例所述之操作介面示意圖。
    200．．．擴增實境系統
    210．．．影像擷取單元
    220．．．儲存單元
    230．．．處理單元
    232．．．前景擷取單元
    233．．．計算單元
    234．．．擴增實境單元
    240．．．顯示單元
    权利要求:
    Claims (20)
    [1] 一種擴增實境的方法，包括：分別對一目標及一環境擷取一3D目標影像及一3D環境影像，其中該3D目標影像及該3D環境影像係為具有深度值之3D影像；擷取該3D目標影像中的一前景物件影像；依據該3D環境影像中一指定深度值，估算該前景物件影像於該3D環境影像中對應該指定深度值的一顯示尺寸；以及依據該顯示尺寸將該前景物件影像加入該3D環境影像並產生一擴增實境影像。
    [2] 申請專利範圍第1項所述之擴增實境的方法，其中，估算該前景物件影像於該3D環境影像中對應該指定深度值的該顯示尺寸之步驟，係提供一參考尺規以供估算該前景物件的該顯示尺寸，該參考尺規係為擷取該3D目標影像及該3D環境影像之一影像擷取單元其所擷取之影像中，複數個深度值所分別對應之實際尺寸及其顯示尺寸。
    [3] 申請專利範圍第2項所述之擴增實境的方法，其中，依據該參考尺規以供估算該前景物件的該顯示尺寸，係依據該前景物件影像於該3D目標影像中的深度值、顯示尺寸及該參考尺規，計算該前景物件影像的實際尺寸，再依據該前景物件影像的實際尺寸、該參考尺規以及該指定深度值，估算該前景物件的該顯示尺寸。
    [4] 申請專利範圍第1項所述之擴增實境的方法，其中該方法更包括提供一操作介面，以於該3D環境影像中指定該指定深度值。
    [5] 申請專利範圍第4項所述之擴增實境的方法，其中該操作介面更包括用以從該3D目標影像中擷取該前景物件影像，並將該前景物件影像置放於該3D環境影像中該指定深度值。
    [6] 申請專利範圍第4項所述之擴增實境的方法，其中該操作介面為一控制列以於該3D環境影像指定該指定深度值。
    [7] 申請專利範圍第4項所述之擴增實境的方法，其中該3D環境影像係分為複數個區域，而該操作介面更包括用以選取該前景物件影像，且在該3D環境影像複數個區域中選取一指定區域，以將該前景物件影像置入至該指定區域中一位置。
    [8] 申請專利範圍第7項所述之擴增實境的方法，其中該3D環境影像係包含複數個環境物件，而該操作介面更包括用以選取該前景物件影像，且拖曳該前景物件影像至該3D環境影像中複數個環境物件中一環境物件之一位置。
    [9] 申請專利範圍第1項所述之擴增實境的方法，其中該3D環境影像係分為複數個區域且具有一順序，該方法更包括經由一感測器偵測一感測信號，當接收到該感測信號時，依該順序從該3D環境影像複數個區域中選取一指定區域，以將該前景物件影像置入至該指定區域中一位置。
    [10] 一種用於擴增實境的系統，包括：一影像擷取單元，用以分別對一目標及一環境擷取一3D目標影像及一3D環境影像，其中該3D目標影像及該3D環境影像係具有深度值之3D影像；一儲存單元，耦接於該影像擷取單元，用以儲存該3D目標影像及該3D環境影像；以及一處理單元，耦接於該儲存單元，包括：一前景擷取單元，用以擷取該3D目標影像中的一前景物件影像；一計算單元，用以依據該3D環境影像中一指定深度值，估算該前景物件影像於該3D環境影像中對應該指定深度值的一顯示尺寸；以及一擴增實境單元，用以依據該顯示尺寸將該前景物件影像加入該3D環境影像並產生一擴增實境影像。
    [11] 申請專利範圍第10項所述之擴增實境的系統，其中該計算單元更提供一參考尺規以供估算該前景物件的該顯示尺寸，該參考尺規係為該影像擷取單元所擷取之影像中，複數個深度值所分別對應之實際尺寸及其顯示尺寸。
    [12] 申請專利範圍第11項所述之擴增實境的系統，其中，依據該參考尺規以供估算該前景物件的該顯示尺寸，係依據該前景物件影像於該3D目標影像中的深度值、顯示尺寸及該參考尺規，計算該前景物件影像的實際尺寸，再依據該前景物件影像的實際尺寸、該參考尺規以及該指定深度值，估算該前景物件的該顯示尺寸。
    [13] 申請專利範圍第10項所述之擴增實境的系統，其中該擴增實境單元更包括一操作介面，用以於該3D環境影像中指定該指定深度值。
    [14] 申請專利範圍第13項所述之擴增實境的系統，其中該操作介面更包括用以從該3D目標影像中擷取該前景物件影像，並將該前景物件影像置放於該3D環境影像中該指定深度值。
    [15] 申請專利範圍第13項所述之擴增實境的系統，其中該操作介面為一控制列以於選取該3D環境影像指定該指定深度值。
    [16] 申請專利範圍第13項所述之擴增實境的系統，其中該3D環境影像係分為複數個區域，而該操作介面係於選取該前景物件影像後，在該3D環境影像複數個區域中選取一指定區域，以將該前景物件影像移動至該指定區域中一位置。
    [17] 申請專利範圍第13項所述之擴增實境的系統，其中該3D環境影像係包含複數個環境物件，而該操作介面更包括用以選取該前景物件影像，且拖曳該前景物件影像至該3D環境影像中複數個環境物件中一環境物件之一位置。
    [18] 申請專利範圍第10項所述之擴增實境的系統，其中該影像擷取單元係為雙眼攝影機，以對該目標拍攝分別產生對應該目標之一左影像和一右影像，以及對該環境拍攝分別產生對應該環境之一左影像和一右影像，且該處理單元更包括：一深度值計算單元，用以對該目標之左影像及右影像計算以產生該3D目標影像之深度值，以及對該環境之左影像及右影像計算以產生該3D環境影像之深度值。
    [19] 一種擴增實境之行動裝置，包括：一影像擷取單元，用以分別對一目標及一環境擷取一3D目標影像及一3D環境影像，其中該3D目標影像及該3D環境影像係為具有深度值之3D影像；一儲存單元，耦接於該影像擷取單元，用以儲存該3D目標影像及該3D環境影像；一處理單元，耦接於該儲存單元，包括：一前景擷取單元，用以擷取該3D目標影像中的一前景物件影像；一計算單元，用以依據該3D環境影像中一指定深度值，估算該前景物件影像於該3D環境影像中對應該指定深度值的一顯示尺寸；以及一擴增實境單元，用以依據該顯示尺寸將該前景物件影像加入該3D環境影像並產生一擴增實境影像；以及一顯示單元，耦接於該處理單元，用以顯示該擴增實境影像。
    [20] 申請專利範圍第19項所述之擴增實境的行動裝置，其中該3D環境影像係分為複數個區域且具有一順序，且該行動裝置更包括：一感測器，耦接於該處理單元，用以偵測一感測信號傳送到該處理單元；且其中，當該處理單元接收到該感測信號時，該操作介面依該順序從該3D環境影像複數個區域中選取一指定區域，以將該前景物件影像置入至該指定區域中一位置。
    类似技术:
    公开号 | 公开日 | 专利标题
    TWI544447B|2016-08-01|擴增實境的方法及系統
    AU2020202551B2|2021-09-23|Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor
    US11093045B2|2021-08-17|Systems and methods to augment user interaction with the environment outside of a vehicle
    JP6258953B2|2018-01-10|単眼視覚ｓｌａｍのための高速初期化
    TWI534654B|2016-05-21|用於在一頭部安裝裝置上選擇一擴充實境物件之方法及電腦可讀媒體與用於選擇一擴充實境物件之頭部安裝裝置
    KR20160106629A|2016-09-12|시선 추적을 갖는 타겟 위치결정
    TWI593289B|2017-07-21|分離的電腦視覺式位置及方向與慣性感測器式位置及方向之顯示
    KR20120068253A|2012-06-27|사용자 인터페이스의 반응 제공 방법 및 장치
    EP2814000B1|2019-07-03|Image processing apparatus, image processing method, and program
    JP5802247B2|2015-10-28|情報処理装置
    TW201346640A|2013-11-16|影像處理裝置及電腦程式產品
    US9303982B1|2016-04-05|Determining object depth information using image data
    US10802784B2|2020-10-13|Transmission of data related to an indicator between a user terminal device and a head mounted display and method for controlling the transmission of data
    US20150009119A1|2015-01-08|Built-in design of camera system for imagingand gesture processing applications
    WO2017117446A1|2017-07-06|3d video reconstruction system
    US20200211275A1|2020-07-02|Information processing device, information processing method, and recording medium
    US20190369807A1|2019-12-05|Information processing device, information processing method, and program
    EP3088991B1|2019-12-25|Wearable device and method for enabling user interaction
    US20210366449A1|2021-11-25|Computer vision and mapping for audio applications
    US20210409628A1|2021-12-30|Visual-inertial tracking using rolling shutter cameras
    TW202026861A|2020-07-16|創作裝置、創作方法及儲存媒體
    TWI460683B|2014-11-11|The way to track the immediate movement of the head
    同族专利:
    公开号 | 公开日
    TWI544447B|2016-08-01|
    CN103139463A|2013-06-05|
    CN103139463B|2016-04-13|
    US20130135295A1|2013-05-30|
    引用文献:
    公开号 | 申请日 | 公开日 | 申请人 | 专利标题
    US20140132725A1|2012-11-13|2014-05-15|Institute For Information Industry|Electronic device and method for determining depth of 3d object image in a 3d environment image|KR100490726B1|2002-10-17|2005-05-24|한국전자통신연구원|비디오 기반의 사격 게임 장치 및 그 방법|
    TW200828043A|2006-12-29|2008-07-01|Cheng-Hsien Yang|Terminal try-on simulation system and operating and applying method thereof|
    CN102598646B|2009-11-13|2014-05-07|皇家飞利浦电子股份有限公司|3d视频中深度过渡的有效编码|
    TWI395600B|2009-12-17|2013-05-11||虛擬物件與實境影像結合的數位內容|
    TWI434227B|2009-12-29|2014-04-11|Ind Tech Res Inst|動畫產生系統及方法|
    TWI408339B|2010-03-22|2013-09-11|Inst Information Industry|即時擴增實境裝置、即時擴增實境方法及其電腦程式產品|
    US20120113141A1|2010-11-09|2012-05-10|Cbs Interactive Inc.|Techniques to visualize products using augmented reality|GB201216210D0|2012-09-12|2012-10-24|Appeartome Ltd|Augmented reality apparatus and method|
    US20140115484A1|2012-10-19|2014-04-24|Electronics And Telecommunications Research Institute|Apparatus and method for providing n-screen service using depth-based visual object groupings|
    US9607438B2|2012-10-22|2017-03-28|Open Text Corporation|Collaborative augmented reality|
    US9286727B2|2013-03-25|2016-03-15|Qualcomm Incorporated|System and method for presenting true product dimensions within an augmented real-world setting|
    KR20150004989A|2013-07-03|2015-01-14|한국전자통신연구원|삼차원 영상 획득 장치 및 이를 이용한 영상 처리 방법|
    TWI529663B|2013-12-10|2016-04-11|財團法人金屬工業研究發展中心|虛擬影像定位方法及其裝置|
    GB201410285D0|2014-06-10|2014-07-23|Appeartome Ltd|Augmented reality apparatus and method|
    US9955162B2|2015-03-31|2018-04-24|LenovoPte. Ltd.|Photo cluster detection and compression|
    US10339382B2|2015-05-31|2019-07-02|Fieldbit Ltd.|Feedback based remote maintenance operations|
    EP3115969B1|2015-07-09|2021-01-06|Nokia Technologies Oy|Mediated reality|
    US10620778B2|2015-08-31|2020-04-14|Rockwell Automation Technologies, Inc.|Augmentable and spatially manipulable 3D modeling|
    WO2017039348A1|2015-09-01|2017-03-09|Samsung Electronics Co., Ltd.|Image capturing apparatus and operating method thereof|
    CN106484086B|2015-09-01|2019-09-20|北京三星通信技术研究有限公司|用于辅助拍摄的方法及其拍摄设备|
    TWI651657B|2016-10-21|2019-02-21|財團法人資訊工業策進會|擴增實境系統與方法|
    US10134137B2|2016-10-27|2018-11-20|LenovoPte. Ltd.|Reducing storage using commonalities|
    TR201616541A2|2016-11-16|2017-10-23|Akalli Oyuncak Ve Plastik Ithalat Ihracaat Sanayi Ticaret Ltd Sirketi|Her türlü nesne ve oyun karakterleri̇ni̇ ekran üzeri̇nde canlandirmaya yarayan apli̇kasyon si̇stemi̇|
    US20180160093A1|2016-12-05|2018-06-07|Sung-Yang Wu|Portable device and operation method thereof|
    US11240487B2|2016-12-05|2022-02-01|Sung-Yang Wu|Method of stereo image display and related device|
    US11107291B2|2019-07-11|2021-08-31|Google Llc|Traversing photo-augmented information through depth using gesture and UI controlled occlusion planes|
    CN110609883A|2019-09-20|2019-12-24|成都中科大旗软件股份有限公司|Ar地图动态导航系统|
    TWI745955B|2020-05-06|2021-11-11|宏碁股份有限公司|擴增實境系統與其錨定顯示方法|
    法律状态:
    优先权:
    申请号 | 申请日 | 专利标题
    TW100143659A|TWI544447B|2011-11-29|2011-11-29|擴增實境的方法及系統|TW100143659A| TWI544447B|2011-11-29|2011-11-29|擴增實境的方法及系統|
    CN201110414029.0A| CN103139463B|2011-11-29|2011-12-13|扩增实境的方法、系统及移动装置|
    US13/538,786| US20130135295A1|2011-11-29|2012-06-29|Method and system for a augmented reality|
    [返回顶部]